How's it going? Reinforcement learning in language models recruits a functional welfare axis
语言模型中强化学习招募功能福利轴
🧭 强化学习表征工程与模型对齐
New York University
强化学习通过招募预训练模型已有的“功能福利”表征轴广泛影响行为，而非从零创建。
📌 工作参考价值（4 点）
- 在电商推荐对话Agent中，可借鉴提取“福利轴”向量的方法，作为模型内部状态的监控器，用于检测拒绝、不确定或消极倾向，及时干预。
- 通过操纵该轴（正向或负向），可以控制推荐语气：正向偏置生成更乐观积极的推荐话术，负向偏置可用来模拟谨慎或风险提示场景。
- 该轴在RL前后都存在，表明可以用它作为预训练模型的zero-shot行为调节器，无需额外训练即可影响Agent的决策风格。
- 这一发现提示在奖励设计中，即使目标仅限定在特定任务，RL也会放大模型原有的广泛偏好表征，因此设计奖励时需考虑可能泛化的行为后果。